查看原文
其他

之江天枢正式开源,瞄准人工智能新基建!

余杭发布 2020-10-25

昨天上午,之江实验室举行发布会,面向全球开发者开源上线“之江天枢人工智能开源平台”。“之江天枢”平台由之江实验室联合北京一流科技、中国信通院、浙江大学等业界顶尖力量共同研发,国内首个由新型研发机构牵头打造的国产自研人工智能开源平台



全面开源


打造自主知识产权AI平台

以深度学习框架为核心的人工智能开源平台,上承算法应用,下接底层硬件,是大规模人工智能应用的引擎和发动机,是数据驱动智能技术研发和产业化的关键基础设施。

“希望吸引全世界的人工智能从业者和爱好者通过我们的平台,把最先进的人工智能算法和技术汇聚到这里,进而解决我国人工智能核心技术‘卡脖子’问题。”潘云鹤院士在致辞中说。


“天枢最初的原型是之江实验室内部使用的一个平台,为科研人员从事人工智能开发、训练、推理和分析提供基于深度学习的解决方案。”之江实验室主任朱世强在发布会上揭秘天枢的“前世今生”。“从自用走向开源,之江实验室下了很大的决心。在国外深度学习框架占据主要市场的背景下,之江实验室面向国家战略和市场需求,坚持打造更高性能、更友好易用的国产开源平台,致力于解决我国人工智能领域的安全问题,实现人工智能技术创新的自主可控,抢占新一轮人工智能发展的战略制高点。”朱世强说。


四大核心优势


实现至快至简

之江实验室副主任、天枢平台总架构师鲍虎军在发布会上介绍了之江天枢人工智能开源平台的四大核心优势,分别是开发友好、训练高效、可视化分析和模型炼知。



一站平台 开发友好

之江实验室打造天枢平台的初衷是希望给人工智能开发者提供完备的基础工具,以更先进的深度学习框架提升人工智能技术的研发效率。


之江天枢平台秉持“开发友好” 的理念,打造了一站式AI开发平台,即使是“AI小白”也能迅速上手。天枢架构师单海军博士介绍说:“天枢第一个版本支持从数据管理、模型开发、训练管理到模型管理的全链路功能,数据管理还能实现数据的智能标注与数据增强。”


超大规模,自动并行

深度学习领域,算力是最重要的推动力。如何在超大规模的场景下让模型训练更高效地跑起来?“天枢平台瞄准行业痛点,打造了全新的分布式计算引擎,使用多机多卡如同单卡一样简单自动并行,原生支持超大模型训练,实现出色的运行效率。”单海军介绍道。

之江天枢平台的分布式训练框架支持数据并行、模型并行、流水并行三种并行模式,能根据不同模型自动编排相适应的并行模式,同时具备出色的线性加速比,数据并行性能有了较大幅度的提升。


此外,天枢还自研了高效通信协议,原生支持RDMA;同时还支持多种深度学习编译器,多芯片轻松实现软件定义数据流,对AI芯片友好兼容。


可视分析 高效调参

值得一提的是,天枢构建的可视化分析平台能提供高效的训练过程调参功能。“在模型训练过程当中,开发者能够直观、实时地洞察模型结构、参数趋势、降维分析等重要信息。通过可视化分析,辅助参数调整,从而改变训练路径。”单海军说道。


模型重组 精炼知识

当前主流深度学习算法构建过程通常需要经过数据处理、模型开发和大规模训练计算等步骤来生产模型,而本次天枢推出了全新的模型生产方式“模型炼知”,通过领先的模型重组炼知技术,实现灵活按需定制模型。“天枢的深度模型炼知框架具备度量功能,能够自动度量多个视觉模型是否能够进行重组,并通过逐层重组、共同特征提取、多任务自适应分支解码等,将不同模型结构进行重组,直接生产出一个全新的模型,应用在新的场景。”鲍虎军详细介绍了模型炼知方面的技术创新。

▲ 天枢平台功能演示

计算机视觉任务中有两类比较常见的任务:一类是图像语义分割,也就是对图像中每一个像素点进行分类,确定每个点的类别(如属于行人或车等);另一类是图像深度估计,即对图像中的目标深度进行预测。目前主流的算法,需要利用两个单任务模型对两个视觉任务分别进行处理。单海军进一步解释说:“在天枢模型炼知框架上,只要输入两个预训练模型,框架能重组出一个新的多任务模型,该模型可以同时处理两个任务,不仅提升了计算效率,降低了能耗,还增强了模型的能力边界。”


揭秘天枢全景图


自2018年10月启动人工智能开源平台研发,到2019年1月获国家发改委项目支持,再到2020年8月开源上线,之江天枢团队近百名研发人员,历时650余天,成功完成平台第一个版本的研发。

在后续版本中,天枢将进一步丰富算法库,搭建面向视觉的AutoML平台,实现拖拽式模型开发。还将进一步优化分布式训练性能,不断提高训练规模与并行效率,最终形成去中心化式分布式训练。同时,高效的端侧推理平台在研发计划中,将完善部署环节,实现端侧推理功能。


重磅打造AI新生态


代码托管平台首次亮相

“开放、协作、共赢”是天枢生态的关键词。在天枢开源发布会上,之江实验室重磅推出了天枢平台生态专项开放课题,联合学界、业界生态伙伴力量,以“基于卫星遥感数据的水环境立体化动态监测技术”“基于AI的医疗实体识别及异常预警”等课题为抓手,共同探索人工智能在智能视觉、智能交通、智能金融、智慧城市、智能医疗、智能机器人等六大产业领域的落地应用。

共建共享、聚力协作,开发者社区无疑是开源生态的重要一环。在天枢开源发布会上,由中国信通院、中国人工智能产业发展联盟和之江实验室共同建设和运营的聚码坊(CodeLab)开源社区也正式上线。聚码坊以代码托管为核心,以健全、实用的开源机制为基础,以企业级高效协同开发功能撬动更大开源贡献,推动开源生态建设,助力人工智能行业发展。


截至目前,天枢平台已经汇聚了阿里云、蚂蚁金服、新华三、海康威视等66家生态伙伴。值得一提的是,为支持企业发展,有力扩展企业生态,天枢平台支持中小微企业免费使用,进一步推动人工智能技术向各行各业渗透应用。


天枢官方网站:

http://tianshu.org.cn/


代码托管平台“聚码坊(Codelab)人工智能开源社区”:

http://codelab.org.cn/




之江实验室简介


之江实验室由浙江省人民政府、浙江大学、阿里巴巴集团共同举办,以国家目标和战略需求为导向,以重大科技任务攻关和大型科技基础设施建设为主线,以打造国家未来战略科技力量为目标,形成一批原创性、突破性、引领性、支撑性的重大科技成果,汇聚和培养一批具有全球影响力的高层次人才,建设世界一流新型研发机构。


日前,浙江印发《关于建设之江实验室等浙江省实验室的通知》决定建设之江实验室、良渚实验室、西湖实验室、湖畔实验室等4个省级实验室。其中,之江实验室、良渚实验室、湖畔实验室位于我区。


高温橙色预警!台风“黑格比”逼近浙江! 浙江提高退休人员基本养老金,具体怎么调整看这里! 最高20元,加大投放力度!第2期浙江电影消费券你抢了吗?



内容支持/之江实验室、新华网

编辑/朱朱

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存